iT邦幫忙

3

[搬運&整理][教學]免費使用Copilot助手:Hermes-3 405B + ShellGPT + VSCode

  • 分享至 

  • xImage
  •  

本文搬運自:ContinueDev + Hermes-3 405B (Free API) : 100% FREE Copilot based on Free API (BEATS Github Copilot),在2024-09-07

摘要:教學如何使用免費的 Hermes-3 405B 模型 API 當做 Copilot。

  1. Console 模式:使用 ShellGPT。
  2. Visual Studio Code:使用 Continue.Dev。

系統要求:

原影片在MAC上操作,本文以下安裝過程僅在 Windows 11 執行,理論上 Windows 10 也可以。如果你在安裝過程中遇到問題,建議將 Windows 更新至最新版本。

使用心得:

  1. 雖然回答速度略慢,但有免費的 Copilot 使用實在開心;autocomplete使用本機的Ollama反應飛快。
  2. 影片中建議的 Qwen-2 1.5B 在 C# 開發上效果不佳,建議使用原設定的 Starcoder2 3B。

取得OpenRouter API Key

  1. OpenRouter註冊後登入
  2. 在滑鼠移到網頁右上角圖像,點「Keys」後按【Create Key】按鈕。
  3. 填入Name,Credit limit可不填;按【Create】按鈕。
  4. 產生的API Key畫面一但關掉就再也不會出現了,複製API Key請謹慎保存
  5. 在Search models文字框搜尋「Hermes 3 405B Instruct」,選到以後確定是【$0/M input tokens】及【$0/M output tokens】,按【複製】按鈕複製模型ID「nousresearch/hermes-3-llama-3.1-405b」。

下載與安裝 ShellGPT

安裝 Python

  1. 安裝 WinGet(若尚未安裝):前往微軟商店下載 WinGet:微軟商店
  2. 在命令提示字元或 PowerShell 使用 WinGet 安裝 Python:
winget install Python.Python.3

或者指定版本:

winget install Python.Python.3 --version 3.12

安裝必要的套件

在命令提示字元或 PowerShell 執行以下指令:

pip3 install shell-gpt
pip3 install litellm

修改 Shell GPT 設定

在 Windows 11 中(Windows 10應該也是相同)找到設定檔,路徑:

C:\Users\使用者名稱\.config\shell_gpt\.sgptrc

打開後編輯設定

DEFAULT_MODEL=openrouter/nousresearch/hermes-3-llama-3.1-405b
USE_LITELLM=true
OPENAI_API_KEY=你的openrouter-api-key

儲存後,在命令提示字元或Powershell中輸入以下指令測試:

sgpt "hello"

注意:和sgpt對話可以使用中文,但對話可能無法儲存。

下載與安裝 Continue.Dev

  1. 在 Visual Studio Code 中的 Extesions 安裝 Continue.Dev。
  2. 安裝後,選擇「Add Model」並選擇「Other OpenAI-compatible API」。
  3. 選擇「Llama3.1 Chat」,然後點擊齒輪按鈕進行配置。

設定 API 參數

在 models 下,加入以下參數:

"apiKey": "你的openrouter-api-key",
"apiBase": "https://openrouter.ai/api/v1",
"model": "nousresearch/hermes-3-llama-3.1-405b",
"title": "Hermes-3"

注意不要在最後一行加逗號(JSON 格式限制)。

完成後,儲存文件。

安裝 Autocomplete 模型

注意:若要開發 C# 程式,建議用原設定的Starcoder2 3B。

  1. 下載並安裝 Ollama:ollama.com
  2. 在 Ollama 網站上搜尋 Qwen2,選擇 1.5B 模型,並複製安裝指令。以下為複製的指令:
ollama run qwen2:1.5b

若要使用預設的Starcoder2 3B,複製的指令是:

ollama run starcoder2:3b
  1. 在命令提示字元或 PowerShell 中貼上指令後執行(等待下載模型...)。

注意:ollama run以後的命令提示字元或 PowerShell 不可關閉,關閉後Continue.Dev的Autocomplete就不會動作了。

修改 Autocomplete 模型設定

Continue.Dev原設定使用Starcoder2 3B,修改使用Qwen 2的步驟如下:

  1. 到 ContinueDev,點擊齒輪按鈕。
  2. 在 tabAutocompleteModel 標籤下,更新以下參數:
"title": "Qwen-2",
"provider": "ollama",
"model": "qwen2:1.5b"

注意不要在最後一行加逗號(JSON 格式限制)。

使用心得

雖然回答速度略慢,但能夠免費使用這樣的 Copilot 助手實在令人驚喜。

我的開發環境配置:
CPU:Intel i7-11800H @ 2.30GHz
RAM:16GB
GPU:NVIDIA RTX 3050 Laptop

原Autocomplete設定:

  "tabAutocompleteModel": {
    "title": "Qwen-2",
    "provider": "ollama",
    "model": "qwen2:1.5b"
  },

圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言